VR声音:开拓新领域的趋势和挑战
VR是声音设计的一个新的前沿,这个行业充满了潜力和新技术,虽然许多方面还没有被弄明白或公认。Travis Fodor是一个音频工程师、编辑师和声音设计师,他曾参加了许多VR的初创、全景视频项目以及纽约大学的音乐和音频研究组。 Andrew 与Travis从专业的声音效果角度谈论他的想法、经验以及预测相关的VR音频。
以下采访 Travis Fodor简称 TF, 简称PSE
TF:创造一个现实环境气氛的时候,我把声音素材导入ProTools,就像做电影或者电视广告一样。我通过脚本以及游戏引擎——Unity、拼合一些15-20秒的相互交织的环境音,而不是像在电影场景一样加入1-2分钟的环境音。在需要的时候回放一段一段的剪辑,而不是播放整个音频文件,这可以使引擎的压力减少许多。我也使用硬效果,如汽车、鸟类等,但我是把它们放在Unity 的3D空间中以及用类似的方式来做一款游戏的。
其它大量的声音设计的元素,我大量的使用Massive和Absynth的音源,然后倒入Komplete 10创作。目前VR声音的一个巨大的挑战是你需要兼容很多平台:Oculus Rift, Samsung Gear VR, HTC Vive, gaming PCs, MacBooks......,为了这个我花了很多时间来设置各类的耳机,各种耳机都要进行参考,当然,目前Oculus Rift的耳机是目前对于用户最好的体验,所以我们会以这个产品为主。
TF:最近,我有两个经历影响了我,作为一个《瑞克和莫蒂》的粉丝,在Altspace VR里,我能够站在Justin Roiland旁边,亲眼看着他从画出节目中的人物这件事简直太酷了。而之前,我在玩HTCVive的游戏Battle Dome。Battle Dome是一个第一人称射击游戏,两支队伍用各种各样的枪射击对方,以占领对方的基地。我碰巧是一位特殊地带的狙击手,为了找到最佳的射击角度,我不得不躺在地上,侦查对面的情况,一旦我的膝盖和肘部接触地面(在现实世界中)我很快意识到“Travis,你躺在你的客厅地板上了”,而不是在调整我的位置,以除掉我的对手。这对我来说是一个非常现实的时刻,因为我充分意识到以前所有的时刻我是完完全全处于另外一个空间的。当你进入沉浸在VR,我总是给人们形容们“那一刻”。我亲眼目睹了超过100人经历VR体验的时刻,它从不会过时。
TF:在VR社区中的每个人都是如此热衷于推动VR。有一点很重要,要知道没有一个人是“VR专家”。这些人可能是有经验的设计师,游戏开发商,或技术专家。VR社区是进入未知的领域。VR社会有一种混合的感觉,包含了探索、风险和创新。我想说,不同于其他创意的媒体的是,我们感到所有人都在从上到下的推动声音的重要性。对于音频工程师来说这是令人兴奋的。我们将开始看到我们一直在寻找的声音。
TF:首先,重要的是要区分360全景体验和VR的区别,全景电影基本上就是屏幕环绕在你的四周(在每一个方向上),你作为观众可以坐下来,你可以在四周围体验电影或游戏。而VR允许你在环境中移动和步行,改变你视角的视觉元素和声源。360也让你改变视角,但只在你自己头的轴线上。你不能在360全景视频里旅行。
当拍摄360个视频,你应该考虑录制一些全景声素材,或在游戏引擎的空间里放一些单声道声源。结合头部跟踪,你可以完全复制声音体验。在纽约大学的音乐和音频研究实验室,我们用B-format格式录制360全景声的音乐会,然后把他们带VR耳机里。如果你把全景音频导入到VR软件引擎,如Two Big Ears,你就可以添加头部跟踪音频。
在我的经验,我主要是工作实现单源的虚拟现实,这是应用到游戏引擎的3D空间。然而现在,我们可以开始尝试Ambisonics在各种虚拟现实里。今年,VR Audio在硬件和软件方面都有巨大的推动作用。谷歌建立了B-format格式,就可以默认支持YouTube全景和VR以及Jump camera rig拍摄设备。有很多先进的格式,我预测Ambisonics将继续为创造身临其境的虚拟现实发挥巨大的作用。
TF:目标源改变而声音改变的方式,虽然大量的第三方插件一直出现,但没有人确定它,没有标准。我们没有一个适合每个用户规范的HRTF引擎。Oculus和一些第三方公司已经发布了一些开发者使用的HRTF定位工具,他们的工作做的很好。我在纽约大学音乐音响研究实验室努力工作,一旦我们有不错的统一的方式,一旦每一个用户都可以体验到准确的定位,我认为沉浸式的音频将取得伟大的成就。
点击查看过往VR声音精彩文章:│视觉固然惊魂,可别忘了,还有声音【虚拟现实的音频处理(视频上)】│没有声音的虚拟现实都是纸老虎【虚拟现实的音频处理(视频下)】│VR电影中的声音——《Collisions》主创谈【视频】│虚拟现实(VR)技术正向影视制作转移,声音更加重要 │沉浸式话筒|森海塞尔Ambeo VR MIC(视频)│主流的VR音频录音方案
点击查看过往游戏声音精彩文章:│游戏声音设计的新高度《神秘海域4:盗贼末路》│游戏音频行业的先驱者——Brian Schmidt│《beep》——Brian Schmidt 全片欣赏 │揭秘游戏背后的声音——走进游戏声音设计师Chase Thompson│游戏声音系列之配音演员DB Cooper-音视频
推荐阅读:点击下方图片即可阅读
游戏的声音 ▲ | 怎样成为一个游戏声音设计师
专访 ▲ | ZOOM公司副总裁,营销主管Barbini Massimo北京专访